Graph neural networks (GNNs) have demonstrated excellent performance in a wide range of applications. However, the enormous size of large-scale graphs hinders their applications under real-time inference scenarios. Although existing scalable GNNs leverage linear propagation to preprocess the features and accelerate the training and inference procedure, these methods still suffer from scalability issues when making inferences on unseen nodes, as the feature preprocessing requires the graph is known and fixed. To speed up the inference in the inductive setting, we propose a novel adaptive propagation order approach that generates the personalized propagation order for each node based on its topological information. This could successfully avoid the redundant computation of feature propagation. Moreover, the trade-off between accuracy and inference latency can be flexibly controlled by simple hyper-parameters to match different latency constraints of application scenarios. To compensate for the potential inference accuracy loss, we further propose Inception Distillation to exploit the multi scale reception information and improve the inference performance. Extensive experiments are conducted on four public datasets with different scales and characteristics, and the experimental results show that our proposed inference acceleration framework outperforms the SOTA graph inference acceleration baselines in terms of both accuracy and efficiency. In particular, the advantage of our proposed method is more significant on larger-scale datasets, and our framework achieves $75\times$ inference speedup on the largest Ogbn-products dataset.

数十年来，计算机系统持有大量个人数据。一方面，这种数据丰度允许在人工智能（AI），尤其是机器学习（ML）模型中突破。另一方面，它可能威胁用户的隐私并削弱人类与人工智能之间的信任。最近的法规要求，可以从一般情况下从计算机系统中删除有关用户的私人信息，特别是根据要求从ML模型中删除（例如，“被遗忘的权利”）。虽然从后端数据库中删除数据应该很简单，但在AI上下文中，它不够，因为ML模型经常“记住”旧数据。现有的对抗攻击证明，我们可以从训练有素的模型中学习私人会员或培训数据的属性。这种现象要求采用新的范式，即机器学习，以使ML模型忘记了特定的数据。事实证明，由于缺乏共同的框架和资源，最近在机器上学习的工作无法完全解决问题。在本调查文件中，我们试图在其定义，场景，机制和应用中对机器进行彻底的研究。具体而言，作为最先进的研究的类别集合，我们希望为那些寻求机器未学习的入门及其各种表述，设计要求，删除请求，算法和用途的人提供广泛的参考。 ML申请。此外，我们希望概述范式中的关键发现和趋势，并突出显示尚未看到机器无法使用的新研究领域，但仍可以受益匪浅。我们希望这项调查为ML研究人员以及寻求创新隐私技术的研究人员提供宝贵的参考。我们的资源是在https://github.com/tamlhp/awesome-machine-unlearning上。

在社交媒体上传播谣言对社会构成了重要威胁，因此最近提出了各种谣言检测技术。然而，现有的工作重点是\ emph {what}实体构成谣言，但几乎没有支持理解\ emph {为什么}实体已被归类为这样。这样可以防止对检测的谣言以及对策设计的有效评估。在这项工作中，我们认为，可以通过过去检测到的相关谣言的例子来给出检测到的谣言的解释。一系列类似的谣言有助于用户概括，即了解控制谣言的探测的特性。由于通常使用特征声明的图表对社交媒体的谣言传播通常是建模的，因此我们提出了一种逐个示例的方法，鉴于谣言图，它从过去的谣言中提取了$ k $最相似和最多的子图。挑战是所有计算都需要快速评估图之间的相似性。为了在流式设置中实现该方法的有效和适应性实现，我们提出了一种新颖的图表学习技术，并报告了实施注意事项。我们的评估实验表明，我们的方法在为各种谣言传播行为提供有意义的解释方面优于基线技术。

动态图是指结构随时间变化的图形。尽管学习顶点表示（即嵌入）对动态图的好处，但现有作品仅将动态图视为顶点连接中的一系列变化，忽略了这种动态的至关重要的异步性，在其中每个局部结构的演变都在每个局部结构开始在每个局部结构的演变开始，不同的时间和持续时间在各个持续时间内。为了在图中维持异步结构演变，我们将动态图作为与角度（TOV）和边缘（toe）的时间板相关的时间边缘序列进行创新。然后，提出了一个时间感知的变压器将顶点的动态连接和脚趾嵌入到学习的顶点表示中。同时，我们将每个边缘序列视为一个整体，并嵌入第一个顶点的TOV，以进一步编码时间敏感的信息。在几个数据集上进行了广泛的评估表明，我们的方法在广泛的图形挖掘任务中优于最先进的方法。同时，它非常有效且可扩展，可用于嵌入大规模的动态图。

下一个利益点（POI）的建议已成为基于位置的社交网络（LBSN）中必不可少的功能，因为它在帮助人们决定下一个POI访问方面有效。但是，准确的建议需要大量的历史检查数据，因此威胁用户隐私，因为云服务器需要处理位置敏感的数据。尽管有几个用于保护隐私的POI建议的设备框架，但在存储和计算方面，它们仍然是资源密集的，并且对用户POI交互的高稀疏性表现出有限的鲁棒性。在此基础上，我们为POI推荐（DCLR）提出了一个新颖的分散协作学习框架，该框架允许用户以协作方式在本地培训其个性化模型。 DCLR大大降低了本地模型对云的依赖性训练，并可用于扩展任意的集中建议模型。为了抵消在学习每个本地模型时在设备用户数据的稀疏性，我们设计了两个自学信号，以通过POI的地理和分类相关性在服务器上预处理POI表示。为了促进协作学习，我们创新建议将来自地理或语义上类似用户的知识纳入每个本地模型，并以细心的聚合和相互信息最大化。协作学习过程可利用设备之间的通信，同时仅需要中央服务器的少量参与来识别用户组，并且与诸如差异隐私之类的常见隐私保护机制兼容。我们使用两个现实世界数据集评估了DCLR，结果表明，与集中式同行相比，DCLR的表现优于最先进的设备框架，并产生竞争结果。

由于对个人医疗保健和大流行而越来越关注，E-Health的普及是增殖的。如今，通过机器学习模型对医学诊断的增强在电子健康分析的许多方面都非常有效。然而，在经典的基于云/集中的电子健康范式范式中，所有数据都将集中存储在服务器上，以促进模型培训，这不可避免地引发隐私问题和高延迟。提出了分布式解决方案，如分散的随机梯度下降（D-SGD），以基于个人设备提供安全和及时的诊断结果。然而，D-SGD等方法受梯度消失问题，通常在早期训练阶段缓慢进行，从而阻碍培训的有效性和效率。此外，现有方法容易发生偏向具有密集数据的用户的学习模型，在为少数群体提供电子健康分析时损害公平性。在本文中，我们提出了一个分散的块坐标血统（D-BCD）学习框架，可以更好地优化分布在用于电子健康分析的分散设备上的深度神经网络的模型。三个真实数据集的基准测试实验说明了我们提出的D-BCD的有效性和实用性，其中额外的仿真研究展示了D-BCD在现实生活中的强有力的适用性。

知识图（kg）对齐 - 指识别不同kgs中同一件事的实体的任务 - 被认为是KG构造领域中最重要的操作之一。然而，现有的对齐技术通常假设输入kgs是完整的并且同性的，这是由于域，大小和稀疏性的现实世界异质性而不是真实。在这项工作中，我们解决了与代表学习对齐不完整的KG对齐的问题。我们的KG嵌入式框架利用了两个特征频道：基于传输型和基于接近的。前者通过翻译路径捕获实体之间的一致性约束，而后者通过注意引导关系感知图形神经网络捕获KG的邻域结构。两个特征频道共同学习以在输入kgs之间交换重要特征，同时强制在同一嵌入空间中强制输入kg的输出表示。此外，我们开发了缺失的链接检测器，该探测器发现并恢复培训过程中输入kgs中的缺失链接，这有助于减轻不完整性问题，从而提高学习象征的兼容性。然后将嵌入的熔合融合以生成对准结果，并且高置信匹配节点对被更新为预先调整的监控数据以逐渐改善嵌入。经验结果表明，我们的型号比SOTA更准确，而且对不同级别的不完整性较高，高达15.2 \％。我们还证明了KGS之间交换的知识有助于揭示知识图表（A.K.A.知识完成）的看不见的事实，结果比SOTA知识图形完成技术高3.5 \％。

近年来，视觉伪造达到了人类无法识别欺诈的复杂程度，这对信息安全构成了重大威胁。出现了广泛的恶意申请，例如名人的假新闻，诽谤或勒索，政治战中的政治家冒充，以及谣言的传播吸引观点。结果，已经提出了一种富有的视觉验证技术，以试图阻止这种危险的趋势。在本文中，我们使用全面的和经验方法，提供了一种基准，可以对视觉伪造和视觉取证进行深入的洞察。更具体地，我们开发一个独立的框架，整合最先进的假冒生成器和探测器，并使用各种标准来测量这些技术的性能。我们还对基准测试结果进行了详尽的分析，确定了在措施与对策之间永无止境的战争中的比较参考的方法的特征。

深度学习已成功地用于解决从大数据分析到计算机视觉和人级控制的各种复杂问题。但是，还采用了深度学习进步来创建可能构成隐私，民主和国家安全威胁的软件。最近出现的那些深度学习驱动的应用程序之一是Deepfake。 DeepFake算法可以创建人类无法将它们与真实图像区分开的假图像和视频。因此，可以自动检测和评估数字视觉媒体完整性的技术的建议是必不可少的。本文介绍了一项用于创造深击的算法的调查，更重要的是，提出的方法旨在检测迄今为止文献中的深击。我们对与Deepfake技术有关的挑战，研究趋势和方向进行了广泛的讨论。通过回顾深层味和最先进的深层检测方法的背景，本研究提供了深入的深层技术的概述，并促进了新的，更强大的方法的发展，以应对日益挑战性的深击。

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.